Năm Nguyên Thú thứ 4 (119 TCN), Trương Khiên được mệnh làm Trung lang tướng, đi sứ Ô Tôn [22], hòng thuyết phục nước này quay về phía đông ở khu vực Hà Tây, cùng nhà Hán hợp kích Hung Nô. Ông đưa theo 300 tùy tùng, hàng vạn bò, cừu, hơn vạn các thứ vật phẩm quý giá bằng tơ lụa, ngọc, đồng,…

Lần này không bị Hung Nô ngăn trở, đoàn sứ giả đến Ô Tôn một cách thuận lợi. Tuy được Ô Tôn vương Côn Mạc chào đón và tiếp nhận lễ vật, nhưng người Ô Tôn lấy cớ Hán xa Hung gần, lại không rõ nhà Hán mạnh yếu thế nào, nên từ chối quay về phía đông, khiến cho mục đích đi sứ không thành. Sau đó, Trương Khiên phái các phó sứ cầm cờ tiết đi đến các nước láng giềng của Ô Tôn là Đại Uyển, Khang Cư, Đại Nguyệt Chi, Đại Hạ, An Tức, Quyên Độc, Vu Điền tiến hành hoạt động ngoại giao.

Năm Nguyên Đỉnh thứ 2 (115 TCN), Trương Khiên quay về, mang theo vài mươi sứ giả Ô Tôn đi theo tìm đường đến nhà Hán và vài mươi thớt ngựa tốt của Ô Tôn. Ông được phong làm "đại hành", vị liệt vào "cửu khanh". Năm sau (114 TCN), Trương Khiên qua đời, Hán Vũ đế vì muốn kỷ niệm ông, những sứ giả đi sứ Tây Vực về sau đều được gọi là "Bác Vọng hầu".